package com.atguigu.chapter05.Transform;

import com.atguigu.chapter05.WaterSensor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * TODO
 *
 * @author cjp
 * @version 1.0
 * @date 2021/3/3 15:29
 */
public class Flink05_Keyby {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStreamSource<String> inputDS = env.readTextFile("input/sensor.csv");

        SingleOutputStreamOperator<WaterSensor> sensorDS = inputDS.map(new MapFunction<String, WaterSensor>() {
            @Override
            public WaterSensor map(String value) throws Exception {
                // 切分
                String[] line = value.split(",");
                return new WaterSensor(line[0], Long.valueOf(line[1]), Integer.valueOf(line[2]));
            }
        });

        // TODO Transform  -  keyby
//        Tuple -> TupleN -> TupleN.fM
        // 位置索引、字段名称的方式，已经过时，因为他们无法推断具体的key的类型，还需要自己转换，不方便
//        KeyedStream<WaterSensor, Tuple> sensorKS = sensorDS.keyBy(0);
//        KeyedStream<WaterSensor, Tuple> sensorKS = sensorDS.keyBy("id");


        KeyedStream<WaterSensor, String> sensorKS = sensorDS
//                .keyBy(new KeySelector<WaterSensor, String>() {
//                    @Override
//                    public String getKey(WaterSensor value) throws Exception {
//                        return value.getId();
//                    }
//                });
                .keyBy(sensor -> sensor.getId());


        sensorKS.print();

        env.execute();
    }
}
/*
    分组：逻辑上的划分，按照指定的key区分不同的组；
    分区：一个并行实例 = 一个分区 ，是物理上的资源

    同一分组，一定在 同一分区
    同一分区，可以有 多个分组


    keyby原理：
        1） 对 key 调用自身的 hashCode方法
        2） 再使用 murmur哈希算法，对 hash值进一步 取 hash值
        3） 最终的 hash值 对 默认最大并行度 128 取模 =》 得到 KeyGroupID

        keyGroupId * parallelism / maxParallelism
                    keyGroupId:
                    parallelism： 下游算子的并行度
                    maxParallelism： 默认最大并行度 128

 */


/*
    KeyGroupStreamPartitioner类的第 61 行
        => KeyGroupRangeAssignment.assignKeyToParallelOperator(key, maxParallelism, numberOfChannels)
            maxParallelism = 1 << 7 = 128
            numberOfChannels: 下游算子的分区数（并行度）

    KeyGroupRangeAssignment类的第 50 行
        => computeOperatorIndexForKeyGroup(maxParallelism, parallelism, assignToKeyGroup(key, maxParallelism));
                    maxParallelism = 128
                    parallelism： 下游的分区数
                    assignToKeyGroup(key, maxParallelism)
         TODO => keyGroupId * parallelism / maxParallelism;
                    keyGroupId: 看下面，两次hash，再对默认的最大并行度128 取余
                    parallelism： 下游算子的并行度
                    maxParallelism： 默认最大并行度 128


    KeyGroupRangeAssignment类的第 62 行
        => computeKeyGroupForKeyHash(key.hashCode(), maxParallelism)
            => MathUtils.murmurHash(keyHash) % maxParallelism;
 */